文章背景与核心概要
随着大语言模型（LLM）的发展，基于自然语言的数据库接口（NLIDB）变得越来越可行，但它们遭遇了一种致命的失效模式：系统会生成流利、自信但完全错误的答案（例如虚构的列名或错误的聚合总数），而在使用时这些错误与正确答案几乎无法区分。
当这些答案被运营仪表盘、企业工作流或具备工具使用能力的智能体（Agent）直接消费而无需人工检查时，传统的准确率指标便显得捉襟见肘。核心问题不仅仅在于准确率，更在于可靠性——即提供一个明确的信号，指示何时应该不信任某个答案。
为了解决这一问题，本文引入了结构性弃权（Structural Abstention），这是一种围绕受信任内核（trusted kernel）和生成式外壳（generative shell）构建的架构模式： - 不变性（The Invariant）： 具备捏造能力的组件（生成式外壳）可以影响系统回答哪个问题，但绝不能决定其返回哪个具体数值。 - 生成式外壳： 负责解释表达不足的用户输入并润色回复。 - 确定性内核： 将完全明确的问题与一组有界的、可回答的问题形态进行匹配，并通过确定性执行将其编译为查询。 - 确认机制： 用户在进行任何计算之前阅读并确认被解释的问题。无法回答的请求会被明确拒绝，而不是进行近似处理。
不同于依赖置信度分数的统计性弃权，结构性弃权不需要进行置信度估计，因为内核根本无法表示无法回答的请求。本文概述了跨三个领域的五个决策实现配方，将该不变性扩展至智能体系统，展示了一个为期两年的生产环境案例研究，并针对近期的企业和可靠性基准评估了该方法。
绝不返回具体数值：面向以事实形式消费答案的 AI 系统的结构性弃权
作者： Zhelun (Allen) Wu
提交时间： 2026年8月14日
研究主题： 人工智能 (cs.AI)；计算与语言 (cs.CL)；数据库 (cs.DB)
arXiv： 2608.13926 | DOI
📌 摘要
Large language models (LLM) make natural language interfaces to databases (NLIDB) increasingly viable, but they suffer from a critical failure mode: they generate fluent, confident, yet entirely incorrect answers (such as a hallucinated column or mis-aggregated total) that are indistinguishable from correct ones at the point of use.
大语言模型（LLM）使得自然语言转数据库接口（NLIDB）变得越来越可行，但它们遭受着一种关键的失效模式：它们会生成流利、自信但完全错误的答案（例如幻觉产生的列或错误聚合的总数），而在使用点上，这些答案与正确答案无法区分。
When answers are consumed directly by operational dashboards, enterprise workflows, or tool-using agents without human inspection, traditional accuracy metrics fall short. The primary issue is not just accuracy, but reliability—providing a clear signal of when an answer should be distrusted.
当答案被运营仪表盘、企业工作流或使用工具的智能体直接消费且无需人工检查时，传统的准确率指标便显得力不从心。首要问题不仅是准确率，还有可靠性——即提供一个清晰的信号，标明何时应当不信任某个答案。
To solve this, the paper introduces Structural Abstention, an architectural pattern built around a trusted kernel and a generative shell: - The Invariant: A component that can fabricate (the generative shell) may influence which question the system answers, but never which value it returns. - Generative Shell: Interprets underspecified user input and phrases replies. - Deterministic Kernel: Matches fully specified questions against a bounded set of answerable question shapes and compiles them to queries via deterministic execution. - Confirmation Mechanism: Users read and confirm the interpreted question before any computation occurs. Unanswerable requests are explicitly declined rather than approximated.
为了解决这个问题，本文引入了结构性弃权（Structural Abstention），这是一种围绕受信任内核和生成式外壳构建的架构模式： - 不变性： 能够进行捏造的组件（生成式外壳）可以影响系统回答哪个问题，但绝不能决定其返回哪个数值。 - 生成式外壳： 解释语义不明确的用户输入并措辞回复。 - 确定性内核： 将完全明确的问题与一组有界的、可回答的问题形态进行匹配，并通过确定性执行将其编译为查询。 - 确认机制： 用户在进行任何计算之前阅读并确认被解释的问题。无法回答的请求会被明确拒绝，而不是被近似处理。
Unlike statistical abstention (which relies on confidence scores), structural abstention requires no confidence estimation because unanswerable requests are simply unrepresentable by the kernel. The paper outlines a five-decision implementation recipe across three domains, extends the invariant to agentic systems, presents a two-year production case study, and evaluates the approach against recent enterprise and reliability benchmarks.
与依赖置信度分数的统计性弃权不同，结构性弃权不需要进行置信度估计，因为无法回答的请求根本无法由内核表示。本文概述了跨三个领域的五个决策实现配方，将该不变性扩展到智能体系统，展示了一个为期两年的生产案例研究，并针对最近的企业和可靠性基准评估了该方法。
📋 附加元数据
- Comments: 26 pages, 5 figures, 5 tables. Technical report. Describes architecture and design principles only; contains no code, schemas, datasets, or performance metrics.
- ACM Classes: H.2.3; H.5.2; I.2.7
- License: Creative Commons Attribution 4.0 International (See license icon below)
- 评论： 26 页，5 个图表，5 个表格。技术报告。仅描述架构和设计原则；不包含代码、模式、数据集或性能指标。
- ACM 类别： H.2.3; H.5.2; I.2.7
- 许可证： 知识共享署名 4.0 国际许可协议 （参见下方许可证图标）
